AI Papers Daily

#Compute Allocation

3 篇

TransX Technical Report: Scaling Sequence Transduction for Recommendation

TransX 技术报告：面向推荐系统的序列转导规模化

🧭 序列转导推荐 · 模型-基础设施协同 ★ 深度解读

LinkedIn

提出 TransX 序列转导框架，将行为编码、记忆与候选融合解耦，通过摊销执行实现模型扩容而不等比增加在线成本

📌 工作参考价值（4 点）

• 商品/广告精排或召回中，候选集常达数百到上千，可借鉴 TransX 的共享行为记忆 + 候选条件融合：把用户长期行为压缩成 global-local memory，在线用 GQA 交叉注意力对候选做融合，避免每个候选都重算历史表示，显著降低在线 GPU 成本。
• 服务架构上，把用户行为编码从在线路径剥离，改为离线 bulk prefill + 近线增量 refresh，在线只消费不可变行为 memory KV 快照。适合电商推荐中用户行为更新频率远低于请求频率的场景，但需注意版本一致性、KV 量化与分层存储。
• 训练侧可复用多前缀共享一次编码 + blocked prefix scan + batched local gather：在长序列行为模型训练时，消除多个 event cutoff 的重复前缀编码，实测吞吐提升 84%，MFU 从 41% 提升到 57%，显存峰值下降约 44%，对大用户行为序列训练很有价值。
• 通过共享行为记忆接口进行多任务后训练（检索、排序、生成式推荐），避免为每个任务重新训练 backbone，适合业务中同时存在召回、精排和生成式推荐需求的团队降低维护成本。

RecSys | 2026-10-14 | cs.IR | score 9/10

Sequence TransductionBehavior MemoryDisaggregated ServingCompute AllocationKV CacheCTR Prediction

LatentLoop: Scaling Looped MoE Models with Asymmetric Compute Allocation

LatentLoop：非对称计算分配的循环 MoE 模型规模化

🧭 循环 MoE 训练 · 非对称计算分配

SJTU · Shanghai AI Lab · USTC · CUHK · NTU

提出 LatentLoop，压缩首轮循环序列、保留次轮全分辨率，将省下算力重分配给隐藏宽度，在相同预算下降低 NLL 并提升下游基准

📌 工作参考价值（4 点）

• 在用户行为序列建模中，可借鉴 LatentLoop 的非对称计算分配：对长序列第一轮使用压缩表示（如 latent 投影或 token 合并），第二轮保留全分辨率，并将节省的 FLOPs 转向加宽 hidden size，而非直接降低延迟；这可在相同推理预算下提升模型质量。
• 用可学习残差系数诊断循环 Transformer 各次访问的贡献，识别可压缩的浅层/首轮访问，指导剪枝或低精度量化；固定系数实验结论“首轮可压缩、次轮不可压缩”可作为先验。
• 在 MoE 推荐/广告模型中，专家 FFN 权重可跨不同序列分辨率共享，但 attention 参数应独立，以适应压缩后序列与全分辨率序列的差异；这比全共享更细粒度，利于多尺度特征融合。
• 面向资源受限的线上推理，可先对输入序列做低秩/降采样压缩并分配给第一层，保留关键的后期层高分辨率，配合专家共享减少参数和 FLOPs；这比均匀缩放更有效，有潜力用于生成式推荐的大模型加速。

Training | 2026-10-13 | HF Daily | score 7/10

Looped MoEAsymmetric ComputeMoETransformerCompute AllocationScaling

MassAlloc Attention: Let Attention Allocate Its Own Compute

MassAlloc Attention：让注意力自主分配计算

🧭 高效注意力 · 自适应计算分配 ★ 深度解读

The Hong Kong University of Science and Technology (Guangzhou) · Beijing Academy of Artificial Intelligence · Université Paris Cité

提出MALA，保留完整QK打分，按归一化注意力贡献度跳过低价值后处理，显著降低长上下文训练/推理计算且保持精度

📌 工作参考价值（4 点）

• 在长用户行为序列建模或长上下文推荐中，可借鉴 MALA 思路：保留完整 QK 打分以捕获任意长程兴趣依赖，但用归一化贡献阈值跳过低贡献 tile 的 V 加载和 PV 累积，从而降低线上推理延迟和离线训练 FLOPs，且精度损失极小。
• 统一阈值 τ/L_q 的设计省去逐层/逐头/逐输入单独标定，适合电商场景中用户序列长度动态变化（从几十到几千）的部署；可根据线上延迟要求全局调整 τ，无需重新训练。
• 反向传播复用前向保存的 finalized normalizer，仅用标准 attention 状态推导嵌套支持，不额外存 mask 或索引，内存开销与 FullAttn 持平，对显存受限的推荐模型训练尤其有吸引力。
• 与 MoBA、DSA 等提前丢弃 QK 的稀疏方法不同，MALA 保留完整 QK 打分，适合需要精确长程关联检索的任务（如跨会话用户兴趣召回、长文档中的商品关联），可作为底层注意力替换方案集成到现有长上下文 LLM 推荐或 Agent 系统中。

Training | 2026-09-25 | HF Daily | score 8/10

Sparse AttentionLong ContextFlashAttentionCompute AllocationTraining EfficiencyInference Acceleration